篇首语：本文由编程笔记#小编为大家整理，主要介绍了深度学习最全优化方法总结比较（SGD，Adagrad，Adadelta，Adam，Adamax，Nadam）相关的知识，希望对你有一定的参考价值。

前言

&＃xff08;标题不能再中二了&＃xff09;本文仅对一些常见的优化方法进行直观介绍和简单的比较&＃xff0c;各种优化方法的详细内容及公式只好去认真啃论文了&＃xff0c;在此我就不赘述了。

SGD

此处的SGD指mini-batch gradient descent&＃xff0c;关于batch gradient descent, stochastic gradient descent, 以及 mini-batch gradient descent的具体区别就不细说了。现在的SGD一般都指mini-batch gradient descent。

SGD就是每一次迭代计算mini-batch的梯度&＃xff0c;然后对参数进行更新&＃xff0c;是最常见的优化方法了。即&＃xff1a;

gt&＃61;∇θt−1f(θt−1)





Δθt&＃61;−η∗gt



其中&＃xff0c;



η
是学习率&＃xff0c;



gt
是梯度

SGD完全依赖于当前batch的梯度&＃xff0c;所以

η
可理解为允许当前batch的梯度多大程度影响参数更新

缺点&＃xff1a;&＃xff08;正因为有这些缺点才让这么多大神发展出了后续的各种算法&＃xff09;

• 选择合适的learning rate比较困难
• 对所有的参数更新使用同样的learning rate。对于稀疏数据或者特征&＃xff0c;有时我们可能想更新快一些对于不经常出现的特征&＃xff0c;对于常出现的特征更新慢一些&＃xff0c;这时候SGD就不太能满足要求了
• SGD容易收敛到局部最优&＃xff0c;在某些情况下可能被困在鞍点【但是在合适的初始化和学习率设置下&＃xff0c;鞍点的影响其实没这么大】

Momentum

momentum是模拟物理里动量的概念&＃xff0c;积累之前的动量来替代真正的梯度。公式如下&＃xff1a;

mt&＃61;μ∗mt−1&＃43;gt







Δθt&＃61;−η∗mt



其中&＃xff0c;



μ
是动量因子

特点&＃xff1a;

• 下降初期时&＃xff0c;使用上一次参数更新&＃xff0c;下降方向一致&＃xff0c;乘上较大的
  
  μ
  能够进行很好的加速
• 下降中后期时&＃xff0c;在局部最小值来回震荡的时候&＃xff0c;
  
  gradient→0
  &＃xff0c;
  
  μ
  使得更新幅度增大&＃xff0c;跳出陷阱
• 在梯度改变方向的时候&＃xff0c;
  
  μ
  能够减少更新

总而言之&＃xff0c;momentum项能够在相关方向加速SGD&＃xff0c;抑制振荡&＃xff0c;从而加快收敛

Nesterov

nesterov项在梯度更新时做一个校正&＃xff0c;避免前进太快&＃xff0c;同时提高灵敏度。
将上一节中的公式展开可得&＃xff1a;

Δθt&＃61;−η∗μ∗mt−1−η∗gt



可以看出&＃xff0c;



mt−1
并没有直接改变当前梯度



gt
&＃xff0c;所以Nesterov的改进就是让之前的动量直接影响当前的动量。即&＃xff1a;





gt&＃61;∇θt−1f(θt−1−η∗μ∗mt−1)







mt&＃61;μ∗mt−1&＃43;gt







Δθt&＃61;−η∗mt



所以&＃xff0c;加上nesterov项后&＃xff0c;梯度在大的跳跃后&＃xff0c;进行计算对当前梯度进行校正。如下图&＃xff1a;

momentum首先计算一个梯度(短的蓝色向量)&＃xff0c;然后在加速更新梯度的方向进行一个大的跳跃(长的蓝色向量)&＃xff0c;nesterov项首先在之前加速的梯度方向进行一个大的跳跃(棕色向量)&＃xff0c;计算梯度然后进行校正(绿色梯向量)

其实&＃xff0c;momentum项和nesterov项都是为了使梯度更新更加灵活&＃xff0c;对不同情况有针对性。但是&＃xff0c;人工设置一些学习率总还是有些生硬&＃xff0c;接下来介绍几种自适应学习率的方法

Adagrad

Adagrad其实是对学习率进行了一个约束。即&＃xff1a;

nt&＃61;nt−1&＃43;g2t







Δθt&＃61;−ηnt&＃43;ϵ−−−−−√∗gt



此处&＃xff0c;对



gt
从



1
到t进行一个递推形成一个约束项regularizer&＃xff0c;



−1∑tr&＃61;1(gr)2